访谈系列·E01S01｜AI大神Ilya访谈揭秘GPT-4成功背后的关键，20年如一日的AGI坚守终惊艳世界

图｜汤源

文｜汤源

题图

本文作为作者最初发布于AI范儿·GPT现象系列研究路径的系列访谈解读文章第一篇-E01S01，介绍了2003-2017年的关键现象，与大家一起了解GPT-4的背景和成功，以及Ilya Sutskever作为GPT-4背后的灵魂人物的故事。

他在2003年多伦多大学读本科时就显示出对深度机器学习的非同凡响的理解，并一直坚信深度神经网络和巨大的数据集可以解决真正困难的机器学习问题。

本系列文章还揭示了GPT-4成功的关键因素，包括深度神经网络、巨大的数据集、更大的模型和计算资源，以及新的训练技术和算法。

如果你对AI的未来和AGI的发展充满好奇，那么本文及系列解读文章一定不容错过！

系列解读一：GPT前言篇（2003-2017）

题记：2003年与2023年的跃迁-20年如一日的AGI机器学习

Ilya Sutskever，中文名伊尔亚·苏茨克维。他是ChatGPT的灵魂人物（首席科学家），题图来自JourneyMatters网站的ChatGPT介绍。

早在2003年，当他还是多伦多大学的本科生时，他就想要加入Geoffrey Hinton教授的深度学习实验室，并展现了对基于神经网络的深度机器学习的非同寻常的理解力，成为ChatGPT的关键人物之一。

💡 题图漫画中的对话Sutskever：我没读懂(你给的这几本书)Hinton：怎么个不理解？Sutskever：人们训练神经网络来解决一个问题，当人们想解决不同问题时，就得用另外的神经网络重新开始训练。但我认为人们应该有一个能够解决所有问题的神经网络。

时间回到2022年11月30日，全球范围内长达3年的Covid-19新冠疫情即将结束之时，OpenAI公司推出了ChatGPT。当时或许只是基于GPT3.5的一个验证演示，但是一经推出，便掀起了大型语言模型生成式人工智能的狂潮，席卷了全球科技产业，并引发了AGI的军备竞赛。

在这之前，最近能够找到的有关Ilya的访谈只有Craig Smith的一个远程视频，在那个视频中，Ilya谈到了GPT-4的诞生历程，但相比下面这篇皮衣老黄操刀的现场访谈，缺乏表情和肢体语言的展现，无法完全呈现GPT-4这样的AGI智能体诞生的艰辛、曲折以及幸运与惊喜。

△

“2023年3月15日访谈视频截图”

本文将解读的视频访谈，发生在ChatGPT推出4个多月后的2023年3月15日，即OpenAI正式推出升级版GPT4的第二天。作为AI军备竞赛的关键，提供GPU芯片的备受瞩目的公司Nvidia的CEO黄仁勋，简短的开场白之后，立即进入主题。

在面对相识多年的厂商和朋友时，Ilya进行了接近一个小时的访谈，剖析了GPT-4诞生过程中二十年如一日的艰辛与欣喜，也从一个侧面显示了他面对机器学习的终极目标——AGI的坚信与坚守。本文解读Ilya在访谈中提到的GPT-4之所以成功的六个关键点。

💡 顺便说一下皮衣老黄作为今天的AGI军备竞赛的受益者，其实一直深耕机器学习业界，与Ilya个人和后来的OpenAI公司都有很深厚的渊源。而以Nvidia DGX为代表的AI算力服务器，也从2016年捐赠给当时还是Elon时代开源OpenAI的第一台AI超级计算机-DGX-1，到刚刚发布的DGX H100，算力提升了40倍。虽然就在本文成文前两天，以摩尔定律（Moore‘s Law）闻名的Gordon Moore先生刚刚去世，也许摩尔定律以CPU通用计算时代已经成为过往，但无疑今天以GPU为主的AI计算时代获得重生。

△

“OpenAI于2016年接受Nvidia捐赠DGX-1”

△

“Elon接受Nvidia捐赠时的推文”

2012年：在还没有GPU的时代，我坚信使用深度和大规模的神经网络可以解决真正的智能问题（难题）

现在回想起来，当时发生的这一切似乎并不重要，但当时Ilya坚信，只要使用足够深的神经网络和足够大的数据集，就一定能够解决真正困难的机器学习问题。

正是Ilya当时对神经网络机器学习方向的执着，使得他能够立即将GPU应用于后来被称为AlexNet的深度神经网络模型中，从而在当时的计算机图像识别问题中实现了突破。在2012年的Imagenet大赛上，伊利亚-苏茨克沃（Ilya Sutskever）和亚历克斯-克里切夫斯基（Alex Krizhevsky）成功地采用了深度神经网络来打破传统的手工设计方案，突破了75%的准确率大关。这个创举最终使得他们赢得了ImageNet竞赛，而他们的系统也因此被命名为AlexNet。

从那时起，图像识别领域焕然一新。在随后的研究中，Sutskever、Krizhevsky和Hinton发表了一篇关于AlexNet的论文，被认为是计算机科学领域里被引用次数最多的论文之一，总共被其他研究人员引用了超过六万次。这篇论文的发表标志着图像识别研究向深度学习的转变，为计算机视觉的发展奠定了基础。

笔者画外音回忆起2012年，笔者手中的手机已经从诺基亚转换到iPhone，移动互联网时代已经拉开帷幕，云计算在中国也已经开始进入人们的视野。阿里云的“飞天”产品稳定运营，如果不是当年桥哥的战略撤退，我的前公司盛大云的产品也可以与阿里云一较高下。盛大云的两位联席CEO，何刚和季昕华，一个去了京东开拓了京东云的市场，另一个则开始了中立云计算供应商的创业。8年后，该公司上市并成为中国科创板云计算领域的第一股。那年，党的十八大揭开了两个百年复兴纪元的序幕。十年后的2022年将成为AGI元年。对于笔者而言，这也标志着我结束了传统的云计算10年生涯，开启下一个AGI 10年职业生涯的元年。这将是一段全新的职业旅程，在移动互联网和云计算时代，我们可能会在职业选择时问自己：“我能为云计算、为移动互联网做出什么贡献？” 然而，在今天的AGI时代，我们或许需要直接询问像GPT-4这样的智能体：“如果你置身于我的处境，你会如何应对？”

2017-现在，未完待续

附录

💡 A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1～v4范式迭代简介

AI范儿A𝕀²·ℙarad𝕚g𝕞从V1到V4的迭代，是一种全新的尝试，基本是沿着：“从GPT现象·看Prompt本质·找创投应用方向“这样的路径，在“AI范儿”社区一众群友prompt下共创并逐步思考迭代的过程。当前v4.0版本涵盖如下内容：1*整体框架与范式路径：（human level）Intelligence as a Service整体框架，与炼丹、挖矿、化身、具生4原生商业范式迭代路径2*服务路径：模型原生（models native）服务路径与卖铲子（shovels selling）服务路径

3*智能发展路径：通用人工智能（AGI）发展路径、面向个人智能伴侣（PIA）发展路径以及硅基原生（Silicon Stack）智能发展路径

范式思维升级：v4版A𝕀²·ℙarad𝕚gm范式框架一个重大升级就是思维范式的变化，研究对象从GPT现象上升到智能现象，同时纳入了和人类及其组织智能对等的硅基原生智能及其生态，甚至在具有某种自主意识的AI智能体“具生”范式里，考虑在world of bits的纯数字世界里，和人类无关的agent形态。对等智能体分别为Human Intelligence Species（含群体组织）与 Silicon Native Entities（含群体生态），区别为human是否in loop。因此对等智能体之间的价值交互可分为：

• AI对于人类智能的增强；
• AI对于人类智能的替代；

• AI智能本体的自主化。

四个GPT原生范式：及其对应的工程范式，版本迭代路径以及商业范式；并对每个原生范式的未来对应发展路径做了一一对应，具生范式是终极商业范式。

▩炼丹(pre-training) (v1. AIGC) - tokens as a service [～AGI/ASI]

▩挖矿(prompting) (v1. AIGC) - prompts as a service [～GPT agents]

▩化身(fine-tuning) (v2&v4. Models Anywhere&Anyone) - models as a service [～in-devices&on-premises agents]

▩具生(agents) (v3&v4. Promptless) - agents as a service [～world of atoms&bits | human in loop & Silicon Native Entities]

---

△附：A𝕀²·ℙarad𝕚gm-Intelligence as a Service v1-v4范式迭代路径简介版

▩A𝕀²·ℙarad𝕚g𝕞整体框架示意图

说明：转发传播请注明出处，A𝕀²·ℙarad𝕚gm-Intelligence as a Service商业范式研究框架版权归AI平方范式智库所有。

△

“A𝕀²·ℙarad𝕚gm商业范式v4.0示意图”

进阶阅读

进阶阅读

互为Prompt ｜ 大型语言模型的预训练·GPT智能到底意味着什么？

参考

说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。

• BingChat by Microsoft

• Claude+ by Anthropic

• https://youtu.be/SjhIlw3Iffs （GPT-4 Creator Ilya Sutskever. @by Eye on AI)

• https://youtu.be/ZZ0atq2yYJw (CONFERENCE JENSEN HUANG (NVIDIA) and ILYA SUTSKEVER (OPEN AI).AI TODAY AND VISION OF THE FUTURE. @by Mind Cathedral)

---

END

扫码加群，

加入智库！

智能平方范式智库

那些prompt了我的，

是否也prompt了你...